Inference from large autoregressive models like Transformers is slow - decoding K tokens takes K serial runs of the model. In this work we introduce speculative decoding - an algorithm to sample from autoregressive models faster without any changes to the outputs, by computing several tokens in parallel. At the heart of our approach lie the observations that (1) hard language-modeling tasks often include easier subtasks that can be approximated well by more efficient models, and (2) using speculative execution and a novel sampling method, we can make exact decoding from the large models faster, by running them in parallel on the outputs of the approximation models, potentially generating several tokens concurrently, and without changing the distribution. Our method supports existing off-the-shelf models without retraining or architecture changes. We demonstrate it on T5-XXL and show a 2X-3X acceleration compared to the standard T5X implementation, with identical outputs.

Recent work attributes progress in NLP to large language models (LMs) with increased model size and large quantities of pretraining data. Despite this, current state-of-the-art LMs for Hebrew are both under-parameterized and under-trained compared to LMs in other languages. Additionally, previous work on pretrained Hebrew LMs focused on encoder-only models. While the encoder-only architecture is beneficial for classification tasks, it does not cater well for sub-word prediction tasks, such as Named Entity Recognition, when considering the morphologically rich nature of Hebrew. In this paper we argue that sequence-to-sequence generative architectures are more suitable for LLMs in the case of morphologically rich languages (MRLs) such as Hebrew. We demonstrate that by casting tasks in the Hebrew NLP pipeline as text-to-text tasks, we can leverage powerful multilingual, pretrained sequence-to-sequence models as mT5, eliminating the need for a specialized, morpheme-based, separately fine-tuned decoder. Using this approach, our experiments show substantial improvements over previously published results on existing Hebrew NLP benchmarks. These results suggest that multilingual sequence-to-sequence models present a promising building block for NLP for MRLs.

Denoising diffusion models (DDMs) have led to staggering performance leaps in image generation, editing and restoration. However, existing DDMs use very large datasets for training. Here, we introduce a framework for training a DDM on a single image. Our method, which we coin SinDDM, learns the internal statistics of the training image by using a multi-scale diffusion process. To drive the reverse diffusion process, we use a fully-convolutional light-weight denoiser, which is conditioned on both the noise level and the scale. This architecture allows generating samples of arbitrary dimensions, in a coarse-to-fine manner. As we illustrate, SinDDM generates diverse high-quality samples, and is applicable in a wide array of tasks, including style transfer and harmonization. Furthermore, it can be easily guided by external supervision. Particularly, we demonstrate text-guided generation from a single image using a pre-trained CLIP model.

实验数据的获取成本很高，这使得很难校准复杂模型。对于许多型号而言，鉴于有限的实验预算，可以产生最佳校准的实验设计并不明显。本文介绍了用于设计实验的深钢筋学习（RL）算法，该算法通过Kalman Filter（KF）获得的Kullback-Leibler（KL）差异测量的信息增益最大化。这种组合实现了传统方法太昂贵的快速在线实验的实验设计。我们将实验的可能配置作为决策树和马尔可夫决策过程（MDP），其中每个增量步骤都有有限的操作选择。一旦采取了动作，就会使用各种测量来更新实验状态。该新数据导致KF对参数进行贝叶斯更新，该参数用于增强状态表示。与NASH-SUTCLIFFE效率（NSE）指数相反，该指数需要额外的抽样来检验前进预测的假设，KF可以通过直接估计通过其他操作获得的新数据值来降低实验的成本。在这项工作中，我们的应用集中在材料的机械测试上。使用复杂的历史依赖模型的数值实验用于验证RL设计实验的性能并基准测试实现。

本文提出了一种简单，准确且计算上有效的方法，以将欧几里得空间中开发的普通无气体滤波器应用于在流形上发展的系统。我们使用称为稳定嵌入的数学理论来使无味的Kalman滤波器保持状态估计，以保持状态估计值在表现出色的估计性能的同时，与歧管近距离近距离。我们通过将其应用于卫星系统模型并将其与其他专门针对歧管上系统设计的非意识到的卡尔曼过滤器进行比较，确认了我们设计的过滤器的性能。我们设计的过滤器的估计误差很低，可以使状态估计与预期的歧管密切相邻，并消耗少量的计算时间。同样，我们设计的过滤器非常简单易用，因为我们的过滤器直接采用了在欧几里得空间中设计的现成的标准的无气味卡尔曼滤波器，而没有任何特定的歧管结构构造的离散方法或坐标转换。

最近的反对抗性系统设计问题促使贝叶斯过滤器的反向发展。例如，最近已经制定了逆卡尔曼过滤器（I-KF），以估算对手的卡尔曼滤波器跟踪估计值，因此可以预测对手的未来步骤。本文和伴随论文（第一部分）的目的是通过提出反向扩展的卡尔曼过滤器（I-EKF）来解决非线性系统中的反过滤问题。在同伴论文（第一部分）中，我们发展了I-EKF（有或没有未知输入）和I-KF（未知输入）的理论。在本文中，我们为高度非线性模型开发了这一理论，该模型采用了二阶，高斯总和和抖动的前向EKF。特别是，我们使用有界的非线性方法来得出二阶EKF的理论稳定性保证。为了解决系统模型和正向滤波器对防御者完全知道的标准I-EKF的限制，我们建议复制核基于Hilbert Space基于空间的EKF，以根据其观察值学习未知的系统动力学，可以用作该动态反向过滤器推断对手的估计值。数值实验证明了使用递归的cram \'{e} r-rao下限作为基准测试的拟议过滤器的状态估计性能。

卡尔曼过滤器通过以平均值和协方差的形式存储对州估计的高斯描述来运行。平方根的卡尔曼滤波器不是直接存储和操纵协方差矩阵，而仅形成并更新协方差矩阵的三角形矩阵平方根。所得算法在数值上比传统的卡尔曼过滤器更稳定，从而使工作精度的双倍受益。本文提出了平方根卡尔曼滤波器的公式，该滤波器利用QR分解以极大地简化了所得算法。

高能量密度物理（HEDP）实验通常涉及在低密度泡沫内部传播的动态波 - 前。这种效果会影响其密度，因此影响其透明度。泡沫生产中的一个常见问题是产生有缺陷的泡沫。需要有关其尺寸和同质性的准确信息来对泡沫的质量进行分类。因此，这些参数使用3D测量激光共聚焦显微镜进行表征。对于每个泡沫，拍摄五个图像：两张2D图像，代表顶部和底部泡沫平面和3D扫描的侧面横截面的三张图像。专家必须通过图像集进行手动对泡沫质量进行分类的复杂，苛刻和疲惫的工作，然后才能确定是否可以在实验中使用泡沫。目前，质量有两个二元级别的正常与缺陷。同时，通常需要专家来对正常缺陷的子类别进行分类，即有缺陷但可能需要实验的泡沫。由于不确定的判断，该子类是有问题的，这主要是直观的。在这项工作中，我们提出了一种新颖的最先进的多视图深度学习分类模型，该模型通过自动确定泡沫的质量分类并因此有助于专家来模仿物理学家的观点。我们的模型在上表面和下表面泡沫平面上达到了86 \％的精度，整个集合中达到了82 \％，这表明了该问题的有趣启发式方法。这项工作中的一个重大价值是能够回归泡沫质量而不是二进制扣除，甚至可以在视觉上解释该决定。本工作中使用的源代码以及其他相关来源可在以下网址获得：https：//github.com/scientific-computing-lab-nrcn/multi-view-foams.git

该研究检查了通过计算过滤方法Kalman滤波技术（KFT）预测短期交通流量的数量。短期流量预测是交通管理和运输系统运营的重要工具。短期交通流值结果可用于按路线指导和高级旅行者信息系统进行旅行时间估算。尽管KFT已经测试过均匀的流量，但其异质交通效率尚未研究。这项研究是在索班巴格清真寺附近达卡的米尔普尔路进行的。该流包含流量的异质组合，这意味着预测的不确定性。该命题方法使用Pykalman库在Python中执行。该库主要用于KFT框架中的高级数据库建模，该模型解决了不确定性。数据源自车辆的三个小时的交通计数。根据2005年孟加拉国公路和公路部（RHD）出版的《几何设计标准手册》，将异质的交通流量转换为同等的乘用车单元（PCU）。然后将从五分钟聚合获得的PCU用作建议的模型的数据集。命题模型的平均绝对百分比误差（MAPE）为14.62，表明KFT模型可以很好地预测。根平方百分比误差（RMSPE）显示出18.73％的精度，小于25％；因此，该模型是可以接受的。开发的模型的R2值为0.879，表明它可以解释数据集中可变性的87.9％。如果在更长的时间内收集数据，则R2值可能接近1.0。

许多用于反问题和数据同化的现代算法都依赖于集成Kalman更新，以将先前的预测与观察到的数据融为一体。合奏Kalman方法通常具有小的合奏尺寸，这在生成每个粒子成本高昂的应用中至关重要。本文对合奏Kalman更新进行了非反应分析，该分析严格地解释了为什么由于快速衰减或近似稀疏性而导致先前的协方差具有适度的有效尺寸，那么小合奏的大小就足够了。我们在统一的框架中介绍了我们的理论，比较了使用扰动观测值，平方根滤波和本地化的集合卡尔曼更新的几个实现。作为我们分析的一部分，我们为可能具有独立感兴趣的大约稀疏矩阵开发了新的无维度协方差估计界限。